Loading...
arxiv：2502.12217v1 [cs.lg] 2025年2月17日
机构名称：

arxiv：2502.12217v1 [cs.lg] 2025年2月17日

¥ 1.0
热度

大型语言模型（LLMS）具有令人印象深刻的能力，但其高计算成本构成了挑战。模型合并提供了一种具有成本效益的替代方案，但现有的方法不受参数之间的干扰，导致性能退化。在这项工作中，我们提出了o ptimal b降雨i（obim），这是一种新型方法，旨在构成构成模型内模型和模型间互动。OBIM由两个关键组成组成：（1）显着度测量机制，该机制根据由个体体重造成的损耗变化评估参数重要性，从而通过仅保留高效能参数来减少模型内部干扰。（2）相互排斥的迭代合并框架工作，该工作使用二进制掩码逐步整合模型，以避免直接的体系平均，从而减轻模型间干扰。我们通过对监督的微调（SFT）模型和后注册的检查点进行实验来验证OBIM。结果表明，OBIM显着超过现有的合并技术。总的来说，OBIM提供了一种有效且实用的效果，以增强LLM合并。接受本文后，我们将公开发布我们的代码。

添加pdf代下载 VIP点击下载文件

arxiv：2502.12217v1 [cs.lg] 2025年2月17日

Facebook Twitter Instagram Mail

主要关键词

arxiv：2502.12217v1 [cs.lg] 2025年2月17日PDF文件第1页

arxiv：2502.12217v1 [cs.lg] 2025年2月17日PDF文件第2页

arxiv：2502.12217v1 [cs.lg] 2025年2月17日PDF文件第3页

arxiv：2502.12217v1 [cs.lg] 2025年2月17日PDF文件第4页

arxiv：2502.12217v1 [cs.lg] 2025年2月17日PDF文件第5页

相关文件推荐

arxiv：2502.14892v1 [cs.cv] 2025年2月17日
2025 年

arxiv：2502.14892v1 [cs.cv] 2025年2月17日

¥1.0
arxiv：2502.12385v1 [Physics.optics] 2025年2月17日
2025 年

arxiv：2502.12385v1 [Physics.optics] 2025年2月17日

¥1.0
arxiv：2502.14264v1 [cs.ai] 2025年2月20日
2025 年

arxiv：2502.14264v1 [cs.ai] 2025年2月20日

¥1.0
arxiv：2502.17010v1 [cs.cr] 2025年2月24日
2025 年

arxiv：2502.17010v1 [cs.cr] 2025年2月24日

¥3.0
arxiv：2502.15663v1 [cs.ma] 2025年2月21日
2025 年

arxiv：2502.15663v1 [cs.ma] 2025年2月21日

¥1.0
arxiv：2502.16847v1 [cs.ro] 2025年2月24日
2025 年

arxiv：2502.16847v1 [cs.ro] 2025年2月24日

¥1.0
arxiv：2502.15833v1 [cs.lg] 2025年2月20日
2025 年

arxiv：2502.15833v1 [cs.lg] 2025年2月20日

¥2.0
arxiv：2502.17136v1 [cs.ai] 2025年2月24日
2025 年

arxiv：2502.17136v1 [cs.ai] 2025年2月24日

¥1.0
arxiv：2502.10515v1 [cs.dc] 2025年2月14日
2025 年

arxiv：2502.10515v1 [cs.dc] 2025年2月14日

¥2.0
arxiv：2502.06559v1 [cs.ai] 2025年2月10日
2025 年

arxiv：2502.06559v1 [cs.ai] 2025年2月10日

¥2.0
arxiv：2502.13593v1 [cs.lg] 2025年2月19日
2025 年

arxiv：2502.13593v1 [cs.lg] 2025年2月19日

¥1.0
arxiv：2502.13080v1 [cs.lg] 2025年2月18日
2025 年

arxiv：2502.13080v1 [cs.lg] 2025年2月18日

¥1.0
arxiv：2502.06609v1 [cs.os] 2025年2月10日
2025 年

arxiv：2502.06609v1 [cs.os] 2025年2月10日

¥1.0
arxiv：2502.21274v1 [cs.lg] 2025年2月28日
2025 年

arxiv：2502.21274v1 [cs.lg] 2025年2月28日

¥1.0
arxiv：2502.18064v1 [cs.lg] 2025年2月25日
2025 年

arxiv：2502.18064v1 [cs.lg] 2025年2月25日

¥1.0
arxiv：2502.08975v1 [cs.lg] 2025年2月13日
2025 年

arxiv：2502.08975v1 [cs.lg] 2025年2月13日

¥1.0
arxiv：2502.09827V1 [CS.IR] 2025年2月13日
2025 年

arxiv：2502.09827V1 [CS.IR] 2025年2月13日

¥1.0
arxiv：2502.16565v1 [cs.ma] 2025年2月23日
2025 年

arxiv：2502.16565v1 [cs.ma] 2025年2月23日

¥2.0
arxiv：2502.07214v1 [cs.lg] 2025年2月11日
2025 年

arxiv：2502.07214v1 [cs.lg] 2025年2月11日

¥1.0
arxiv：2502.07964v1 [cs.lg] 2025年2月11日
2025 年

arxiv：2502.07964v1 [cs.lg] 2025年2月11日

¥1.0
arxiv：2502.15224v1 [cs.lg] 2025年2月21日
2025 年

arxiv：2502.15224v1 [cs.lg] 2025年2月21日

¥1.0
arxiv：2502.08803v1 [cs.lg] 2025年2月12日
2025 年

arxiv：2502.08803v1 [cs.lg] 2025年2月12日

¥1.0
arxiv：2502.04034v1 [cs.lg] 2025年2月6日
2025 年

arxiv：2502.04034v1 [cs.lg] 2025年2月6日

¥1.0
arxiv：2502.11029v1 [cs.cr] 2025年2月16日
2025 年

arxiv：2502.11029v1 [cs.cr] 2025年2月16日

¥2.0
arxiv：2502.00486v1 [cs.ce] 2025年2月1日
2025 年

arxiv：2502.00486v1 [cs.ce] 2025年2月1日

¥2.0
arxiv：2502.04210v1 [cs.lg] 2025年2月6日
2025 年

arxiv：2502.04210v1 [cs.lg] 2025年2月6日

¥4.0
arxiv：2502.06552v1 [cs.cv] 2025年2月10日
2025 年

arxiv：2502.06552v1 [cs.cv] 2025年2月10日

¥1.0
arxiv：2502.07192v1 [cs.cv] 2025年2月11日
2025 年

arxiv：2502.07192v1 [cs.cv] 2025年2月11日

¥1.0
arxiv：2502.02919v1 [cs.cv] 2025年2月5日
2025 年

arxiv：2502.02919v1 [cs.cv] 2025年2月5日

¥1.0
arxiv：2502.04018v1 [cs.lg] 2025年2月6日
2025 年

arxiv：2502.04018v1 [cs.lg] 2025年2月6日

¥2.0